Häyhä sinh ra ở thị trấn Rautjärvi ở tỉnh Viipuri miền nam Phần Lan gần biên giới với Nga. Ông là con út thứ hai trong số tám người con trong một gia đình nông dân theo Luther giáo.[7] Ông là một nông dân, thợ săn và người chuyên trượt tuyết trước khi thực hiện nghĩa vụ quân sự. Ông gia nhập lực lượng dân quân tự nguyện Bạch Vệ của Phần Lan (Suojeluskunta) ở tuổi 21 và đạt nhiều thành tích cao trong các cuộc thi bắn súng ở tỉnh Viipuri.[8] Ông không muốn mình quá nổi bật, vì vậy nên trong các bức ảnh thời trẻ, ông thường đứng ở hàng sau cùng trong các bức ảnh nhóm, và thành công sau này buộc ông phải ở vị trí trung tâm.[9]